Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning
Ring-Zero：将零RL扩展至万亿参数，激发涌现推理
🧭 RL训练大规模LLM涌现推理
Renmin University of China · Ant Group · Tsinghua University · Zhejiang University
通过算法与系统优化，将Zero RL稳定扩展到1T参数，发现涌现的高级推理行为。
📌 工作参考价值（4 点）
- 训练稳定性技巧：裁剪重要性采样、训练-推理比例校正、混合精度控制等trick可直接用于业务中Agent/LLM的RL微调，防止训练崩溃。
- 涌现行为无需手工启发式：观察到自我验证、结构化格式等自发行为，说明在推荐/搜索的CoT提示工程中，可减少人工设计，依赖模型自身涌现。
- CoT质量评估框架：从可理解性、可复现性、效率三维度评估推理轨迹，可用于评估商品推荐解释、搜索意图理解的中间过程。
- 大规模RL的样本效率：1T参数下样本效率显著提升，提示对资源受限的场景，可优先采用更大的预训练模型进行少量RL微调。